package com.atbeijing.bigdata.spark.core.rdd.operator.transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark07_Oper_Transform {

    def main(args: Array[String]): Unit = {

        val conf = new SparkConf().setMaster("local[*]").setAppName("TransformOperator")
        val sc = new SparkContext(conf)

        // TODO 算子 - 转换 - filter
        val rdd = sc.makeRDD(List(1,2,3,4))

        // filter算子会根据指定的规则对数据集中的每一条数据进行判断
        // 如果想要数据保留，那么结果返回true，如果数据不要，返回false

        // scala集合中的filter考虑的是单点操作
        // sparkRDD的filter考虑分区数据的均衡
        rdd.filter(
            num => {
                num % 2 == 1
            }
        ).collect().foreach(println)




        sc.stop()

    }
}
